ปี ค.ศ. 1483 การสวรรคตอย่างมีเงื่อนงำของพระเจ้าเอ็ดเวิร์ดที่ 4 ได้นำพัดพาพายุร้ายมาสู่ราชวงศ์ยอร์กของอังกฤษ พระมารดาของเอลิซาเบธได้พาลูก ๆ ไปอยู่ในสถานที่คุ้มภัย ขณะที่พระอนุชาของพระองค์ถูกประกาศให้เป็นพระเจ้าเอ็ดเวิร์ดที่ 5 แต่เนื่องด้วยกษัตริย์มีพระชนมายุเพียง 13 พรรษา ริชาร์ด แพลนทาเจเนต พระปิตุลาของพระองค์จึงถูกประกาศชื่อเป็นผู้พิทักษ์ผู้สำเร็จราชการแผ่นดิน ก่อนที่พระเจ้าเอ็ดเวิร์ดที่ 5 จะได้รับการสวมมงกุฎ ริชาร์ดได้จองจำพระองค์กับริชาร์ด พระอนุชาของพระองค์ที่หอคอยแห่งลอนดอน ริชาร์ด แพลนทาเจเนตได้ยึดบัลลังก์อังกฤษมาครอบครองเป็นพระเจ้าริชาร์ดที่ 3 และได้ประกาศให้การสมรสของพระบิดามารดาของเอลิซาเบธแห่งยอร์กไม่ชอบด้วยกฎหมาย โดยทรงอ้างว่าในตอนที่ทำการสมรสพระเจ้าเอ็ดเวิร์ดที่ 4 ได้หมั้นหมายอยู่กับหญิงอื่น

หลังพระเจ้าริชาร์ดที่ 3 ขึ้นครองราชย์ได้ระยะหนึ่ง เจ้าชายทั้งสองซึ่งเป็นทายาทชายที่ยังมีชีวิตอยู่ของพระเจ้าเอ็ดเวิร์ดที่ 4 ก็ได้หายตัวไป แม้เอลิซาเบธจะถูกประกาศให้เป็นบุตรนอกสมรสแต่มีข่าวลือว่าพระเจ้าริชาร์ดที่ 3 มีแผนที่จะสมรสกับพระองค์ การทรยศหักหลังของพระเจ้าริชาร์ดที่ 3 ทำให้เลดีวูดวิลล์เกลียดชังพระอนุชาของพระสวามีเป็นอย่างมาก พระองค์หันไปร่วมมือกับมาร์กาเร็ต โบฟอร์ตแห่งราชวงศ์แลงคาสเตอร์ซึ่งมารดาของเฮนรี ทิวดอร์ ผู้อ้างตนเป็นทายาทในบัลลังก์ เอลิซาเบธถูกจับหมั้นหมายกับเฮนรี ทิวดอร์ มีคนตั้งข้อสันนิษฐานว่าเอลิซาเบธ วูดวิลล์คงรู้หรืออย่างน้อยก็พอจะเดาได้ว่า "เจ้าชายในหอคอย" พระโอรสทั้งสองของตนสิ้นพระชนม์แล้ว พระองค์จึงพยายามจับพระธิดาสมรสกับเฮนรี ทิวดอร์